【Pyramid】Enabling Hierarchical Neural Networks with Edge Computing

#edge-intelligence #graph-neural-network

创新点

之前的研究：优化训练和推断的资源和表现
本文：通过 edge computing 分析数据之间的相关性（context awareness），从而助力智慧城市的物联网建设。

符号

总共 $K$ 个区域，第 $k$ 个区域有 $N_k$ 个道路监测器：$v_{k,1}^r,\dots ,v_{k,N_k}^r$
这 $K$ 个区域之间有 $L$ 条高速公路，每条高速公路在两端和中点各有一个监测器，第 $l$ 条高速公路的监测器表示为：$v_{l,1},v_{l,2},v_{l,3}$

Pyramid 神经网络的结构

Local Prediction

state-of-the-art 的模式（STRN、STGNN、LSGCN、HGCN、ST-GCN） 用 GCNs（图卷积网络） 来捕捉空间关系（Spatial Block），用 GLU 来捕捉时间关系（Temporal Block）；同时，LSGCN、HGCN、ST-GCN 也采用了所谓的 “sandwich” 结构（temporal block+spatial block+temporal block）。本文对 “sandwich” 做了一些改进（删除了 sandwich 结构之间多余的 temporal blocks ），得到下面的结构：

Data modeling

历史的交通信息表示如下：（$N_k$：道路监测器数量；$T$：时刻）

GLU 做的操作用矩阵操作可表示为：（其中 $W$ 和 $V$ 是要学习的权重，$\sigma (\dots )$ 是 sigmoid 函数）

图卷积网络（GCN） 做的操作用矩阵操作可表示为

最后：

Global Prediction

Global Learner 的数据来源是 Local Learners 提取出来的特征数据：(其中 $x_k^{i}n$ 来自第 $k$ 个 Local Learner)

Global Learner 要分析的关系有 3 种：

1. road traffics 和 freeway traffics 之间的空间关系
2. freeway traffics 之间的空间关系
3. freeway traffics 的时间关系

Transformation Block：将 road traffic features $X^r$ 转化为 freeway traffic features $X^f$. 具体由 3 部分组成：

• 第 1 个 sparse layer：$X^{inter}=(E_0\odot W_0)\cdot X^r+b_0$ （其中 $W_0$ 是要训练的参数，$b_0$ 是随机偏置）
• Batch Normalization Layer
• 第 2 个 sparse layer：$X^f=(E_1\odot W_1)\cdot X^{\text{bn-inter}}+b_1$ （其中 $W_1$ 是要训练的参数）

$a_{i,j}\in A^{\text{rf}}$ 表示第 i 个 road sensor 和第 j 个 freeway sensor 是否相关
将 $A^{\text{rf}}$ 因式分解为 $N\times Q$ 的矩阵 $E_0$ 和 $Q\times M$ 的矩阵 $E_1$ （$N>Q>M$ 且 $Q\mathrm{mod}M=0$），在 2 个 sparse layer 中充当 embedding matrix

通过 Transformation Block，Global Learner 获得 road traffics 和 freeway traffics 之间的空间关系。
通过与 Local Learner 类似的 sandwich 结构分析 $X^f$，Global Learner 获得 freeway traffics 之间的时空关系。